基于信息增益校准的在线策略蒸馏用于深度搜索智能体
🧭 On-policy distillation · 信息增益校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Renmin University of China · Beijing University of Posts and Telecommunications · Beijing Academy of Artificial Intelligence (BAAI)
提出 IG-OPD，用检索后信息增益校准 OPD 的预算与方向先验，修正证据盲监督
📌 工作参考价值（4 点）
- 多轮检索/会话 agent 蒸馏时，teacher 对 query 的似然偏好不等于检索证据的实际效用；可引入 post-retrieval information gain（如文档是否包含答案、证据是否改变后续置信）作为校准信号，对 query/tool-call tokens 做奖励修正，避免好 query 被误罚。
- 按 turn 而不是按 token 长度分配监督权重：搜索/召回 turn 通常短但信息增益高，合成/回答 turn 长但增益低；ITC 的预算重分配可通过 token loss 乘 ratio 实现，无需改 trainer，工程成本低。
- 在电商搜索/推荐中，用户 query 改写、检索式推荐、多跳推理 agent 训练可借鉴 IQC 只修正 action-critical tokens（query 字符串、工具参数）而保持 reasoning tokens 不变；对第一跳正反馈、后续跳负反馈更可靠，可据此设计课程和 cosine ramp 避免早期对搜索行为的过度惩罚。
- 训练后模型推理无额外开销，但蒸馏时需额外做一次 teacher 对 gold answer 的评分，增加约 10% 训练时间/显存，适合离线训练阶段接受。
AdviSD：通过定向多轮自蒸馏训练前沿 LLM 的顾问模型
🧭 小型 advisor 训练 · 定向自蒸馏 + GRPO ★ 深度解读
Google · University of Southern California
用配对评分筛选哪些反思修正值得监督，训练小型 advisor 通过自然语言建议提升冻结 Gemini/Claude 的工具调用与多轮 agent 表现
📌 工作参考价值（4 点）
- 对调用黑盒 LLM API 的电商/Agent 场景，可以用小模型做外部 advisor，不必微调 frontier 模型；AdviSD 的配对评分过滤不依赖 executor logits 或额外 rollout，工程成本低。
- 训练时把“修正生成”和“选择哪些修正用于监督”解耦：用 pre-update advisor 对同一 executor 回复计算 with/without advice 的平均 log-prob 差，只保留差值超过阈值的决策；不要学所有反思修正，尤其避免学对 executor 行为无影响的“正确但无用”建议。
- 对原始 abstention 决策要单独 bypass：因为无 advice 时 with/without 上下文相同、score 差为 0，容易被过滤掉；保留被 reflection 标记的 missed advice 可提升 0.6–1.7 点。
- 做消融时加 matched-count random control，能区分“少学一点”和“选得对”；阈值可以用 donor advice（其他任务 advice）在 pilot 上校准并固定。
面向智能体强化学习的轨迹相对事后蒸馏框架
🧭 Agentic RL · 轨迹相对事后蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Tencent
提出TRIAL，通过轨迹相对事后蒸馏将密集监督按轮次合理分配，显著提升多轮Agent的RL训练效率
📌 工作参考价值（4 点）
- 多轮对话/推荐Agent训练中，可用轨迹相对事后视图提供密集token级信用分配，突破GRPO仅靠结局奖励的局限
- 事后视图构造方法可迁移：将用户后续反馈（如点击、购买）作为条件化上下文，重评分已生成的推荐回复，获得符号化修正信号
- 轮次归一化权重（token加权均值=1）确保不改变整体更新强度，仅重新分配监督焦点，易于与现有RL框架（如PPO）集成
- 训练时引入事后信息，推理阶段无需任何额外模块或开销，适合在线服务部署
Data Turnstile：面向函数调用的可扩展数据合成开放框架
🧭 小模型工具调用数据合成 ★ 深度解读
Amazon AGI
将多轮工具调用交互分解为逐角色生成与验证，用高质量合成数据让 0.6B SLM 无需 CoT 即超越 4B 基座。
📌 工作参考价值（4 点）
- 自定义域数据生成：电商 Agent、搜索助手等场景下，只需提供自有 API 定义与策略文档，即可用 Turnstile 合成高质量多轮对话数据，训练轻量工具调用模型，降低推理延迟和部署成本。
- 模板化验证提升质量：借鉴逐角色生成+结构 / 语义验证+错误重试的流水线，可在内部数据生产中避免一次性生成导致的 API 幻觉、格式错误等；动态注入“无关 API 拒绝”训练样本，解决模型盲目录入调用问题。
- 无 CoT 加速推理：经 Turnstile 数据微调的 SLM 在单轮简单任务上无需 CoT 即可超越带思考的基座，适合对延迟敏感的线上服务；但多轮复杂任务仍需保留 CoT，可依据任务复杂度灵活选择推理模式。
- 多样性控制方法：模板分布、参数组合采样和动态扰动（如模拟 API 执行失败、用户不配合）能显式控制数据多样性，优于仅靠温度采样的方式，适合构造覆盖长尾与异常情况的稳健训练集。
通过经验知识集成与激活突破LLM工具调用极限
🧭 LLM工具调用 · 经验知识获取与激活 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences
系统研究经验知识在工具调用中的获取、激活与内化，提出KA TE框架，通过并行采样和知识增强训练大幅提升多步工具调用准确率。
📌 工作参考价值（4 点）
- 实例级轨迹知识更有效：直接使用高质量执行轨迹（Scenario Trajectory）作为few-shot示例注入prompt，比抽象意图描述能更可靠地提升工具调用准确率。电商Agent在调用库存、物流API时可复用历史成功轨迹。
- 推理宽度优于推理深度：用并行采样（如4路）配合自一致性聚合，成本可控地激活模型潜在知识，避免复杂prompt工程的边际收益递减。适合在agent决策步骤中增加少量并行调用。
- 用RL做知识内化：将检索到的经验知识显式拼入训练数据，用GRPO等RL方法微调，比SFT更能将知识固化为模型能力。电商推荐Agent可对高频场景构建经验库并RL微调。
- 简单检索够用：Top-K相似度检索+阈值过滤已能取得明显收益，不必在检索机制上过度设计，工程实现简单，适合快速落地。